ในเวลานั้นนางผีเสื้อสมุทรตนหนึ่งออกหากิน ได้ยินเสียงเพลงปี่ของพระอภัยมณีก็เกิดความรู้สึกปั่นป่วนใจ จึงตามหาต้นตอของเสียงปี่ เมื่อได้เห็นพระอภัยมณีก็เกิดความรัก จึงอุ้มพระอภัยมณีไปไว้ในถ้ำของตนเอง แล้วแปลงกายเป็นหญิงงาม พระอภัยมณีรู้ว่านางเป็นยักษ์ แต่ต้องจำใจอยู่กินกับนางผีเสื้อสมุทรถึงแปดปีจนเกิดโอรสคนหนึ่ง ชื่อ สินสมุทร
          สินสมุทรเป็นเด็กที่แข็งแรงมาก วันหนึ่งขณะที่นางผีเสื้อสมุทรออกไปหากิน สินสมุทรผลักก้อนหินปากถ้ำที่นางผีเสื้อปิดไว้เพื่อขังพระอภัยมณีและสินสมุทรให้อยู่ในถ้ำออก แล้วหนีไปเที่ยว พบเงือกชราตัวหนึ่งไม่รู้จักว่าเป็นตัวอะไร จึงจับมาให้พระอภัยมณีดู เงือกชราอ้อนวอนขอให้พระอภัยมณีสั่งในสินสมุทรปล่อยตัวไป โดยให้สัญญาว่าจะพาพระอภัยมณีหนีนางผีเสื้อสมุทรไปยังเกาะแก้วพิสดาร โดยขอให้พระอภัยมณีทำอุบายให้นางผีเสื้อสมุทรออกจากถ้ำไปที่อื่นสามวัน พระอภัยมณีเห็นว่าเป็นช่องทางที่จะหนีจากนางผีเสื้อสมุทรได้ประกอบกับความสงสารเงือกชราที่ถูกสินสมุทรทรมานจึงขอให้สินสมุทรปล่อยเงือกชราไปและห้ามเล่าเรื่องนี้ให้นางผีเสื้อสมุทรฟัง ต่อมานางผีเสื้อสมุทรฝันว่าเทวดาที่เกาะมาควักดวงตาทั้งสองข้างเหาะหนีไป นางตกใจตื่นจึงเล่าความฝันให้พระอภัยมณีฟัง พระอภัยมณีได้โอกาสจึงทำนายฝันว่านางผีเสื้อสมุทรกำลังมีเคราะห์จะต้องไปถือศีลสะเดาะเคราะห์ ห้ามกินเนื้อสัตว์ และไปถือศีลอยู่บนเขาสามคืน นางผีเสื้อสมุทรเชื่อจึงออกไปถือศีลอดอาหารอยู่บนเขา พระอภัยมณีจึงเรียกให้เงือกชราพาหนีโดยมีเมียและลูกสาวเงือกชราติดตามมาด้วย
          ครั้นครบกำหนดสามวัน นางผีเสื้อสมุทรเลิกถือศีลกลับมายังถ้ำ ไม่เห็นพระอภัยมณีและสินสมุทร ก็รู้ว่ามีคนพาหนีจึงออกติดตามด้วยความโกรธ เมื่อติดตามมาใกล้จะทัน เงือกชราผัวเมียออกอุบายให้พระอภัยมณีไปกับลูกสาว ส่วนตนเองและสินสมุทรจะหลอกล่อถ่วงเวลาไว้ เมื่อนางผีเสื้อตามทันเงือกชราผัวเมีย นางจึงฆ่าเสียแล้วติดตามลูกสาวเงือกที่พาพระอภัยมณีหนีต่อไปยังเกาะแก้วพิสดาร พอดีโยคีช่วยไว้ทัน พระอภัยมณี สินสมุทร และนางเงือกจึงอาศัยอยู่กับพระโยคีที่เกาะแก้วพิสดารนั้น ส่วนนางผีเสื้อสมุทรเข้าไปบนเกาะไม่ได้ จึงวนเวียนอยู่ในบริเวณนั้น พระอภัยมณีและสินสมุทรได้เรียนภาษาต่าง ๆ จากผู้คนหลายชาติหลายภาษาบนเกาะจนเชี่ยวชาญ ต่อมาพระอภัยมณีได้นางเงือกเป็นชายา และภายหลังได้บวชเป็นฤาษีพร้อมกับสินสมุทร